Matthäus memulakan kerjaya profesionalnya pada tahun 1979 ketika bersama Borussia Mönchengladbach. Beliau seterusnya bermain untuk Bayern Munich bermula tahun 1984 hingga 1988 sebelum meraih dua trofi Bundesliga dan DFB-Pokal. Beliau bersama Bayern turut dapat melangkah ke perlawanan akhir Piala Eropah pada tahun 1987 tetapi tewas kepada FC Porto hasil jaringan lewat pemain lawan selepas Bayern selesa mendahului 1-0 sebelum tewas 2-1.

Matthäus dan teman sepasukannya di Bayern, Andreas Brehme melakukan perpindahan ke Internazionale pada tahun 1988. Beliau meraih kejuaraan Scudetto pada musim 1988–89 iaitu ketika musim pertama mereka. Selain itu, mereka juga merangkul trofi Supercoppa Italiana pada tahun yang sama.

Matthäus meneruskan kejayaan kariernya di Internazionale apabila membantu kelabnya memenangi Piala UEFA pada tahun 1991 dan dinamakan sebagai Pemain Terbaik Dunia FIFA. Pada perlawanan akhir Piala UEFA, beliau menyudahkan tendangan penalti pada perlawanan pertama sekali gus membantu Inter mendahului pasukan lawan, Roma. Beliau kembali ke Bayern Munich pada tahun 1992 sebelum meraih empat trofi Bundesliga, dua DFB-Pokal dan satu trofi Piala UEFA. Pada masa ini juga, beliau beraksi buat kali kedua dalam perlawanan akhir Piala Eropah pada tahun 1999 namun tewas juga kali ini kepada Manchester United. Sama seperti senario 1987, Bayern mula mendahului 1-0 sebelum United menemui dua jaringan pada lewat permainan sekali gus meranapkan impian Matthäus untuk menjulang trofi Piala Eropah. Perlawanan terakhir Matthäus untuk Bayern pada 8 Mac 2000 dalam satu perlawanan Liga Juara-Juara menentang Real Madrid yang berkesudahan Bayern menang 4–1.

Ketika musim 1999-2000, Matthäus berpindah dari Bayern ke kelab Major League Soccer, MetroStars. Beliau beraksi di Amerika Syarikat dari bulan Mac hingga Oktober 2000 sebelum membuat persaraan rasmi.